Castle Williams ist ein nahezu kreisrundes Bauwerk aus rotem Sandstein auf der Westseite von Governors Island im New Yorker Hafen. Es diente zunächst als Befestigungsanlage, dann als Militärgefängnis, Kaserne und Mehrzweckgebäude der Küstenwache. Heute dient es nur noch touristischen Zwecken.